WhatWorkedBench: Benchmarking Experimental Understanding in AI Agents
WhatWorkedBench：评测 AI Agent 实验理解能力
🧭 AI Agent 实验理解与自适应实验设计评测
Carnegie Mellon University · Tsinghua University
构建 WhatWorkedBench 基准，衡量 Agent 在预算内实验后预测组件组合效果的准确性
📌 工作参考价值（4 点）
- 在业务 Agent 做离线调参/工作流组合优化时，不要依赖完整网格搜索，可让 Agent 在预算内主动选择少量配置测量，再用 GP 或 pair-effect ridge 推断全配置响应面，直接降低实验成本。
- 静态分析代码等价性，把行为完全相同的配置合并成同一组，作为先验约束注入 GP；论文中该 trick 将小样本恢复从 0.248 提到 0.462，适合推荐/广告流程中大量冗余开关或等价组件组合。
- 多组件组合实验（如召回/粗排/精排策略开关）优先建模主效应 + 成对交互，用 pair-effect ridge 在少量新测量下选优并控制误差，避免全阶交互带来的样本需求爆炸。
- 内部评估 Agent 实验推断能力时，可借鉴该 benchmark 方式：用穷举离线结果构建数值控制记录，让 Agent 提交预测表，再对照完整参考效果算 recovery，而非只看最终推荐指标。